1. Wprowadzenie
Ostatnia aktualizacja: 2022-02-08
Dlaczego potrzebne jest przesyłanie strumieniowe w wielu chmurach?
Firmy aktywnie poszukują możliwości rozłożenia zadań na wiele platform chmurowych, ponieważ korzystanie z usług wielu dostawców chmury w procesach operacyjnych firmy ma wiele zalet, takich jak:
- Uzależnienie od dostawcy
- Ograniczanie ryzyka związanego z ciągłością działania
- Zależności i poleganie na jednym stosie technologicznym
Co utworzysz
W tym module dowiesz się, jak skonfigurować strumieniowanie danych w wielu chmurach między AWS a GCP przy użyciu Confluent Cloud. W ramach ćwiczenia:
- Skonfiguruj dedykowany klaster Kafka w Confluent Cloud w GCP.
- Skonfiguruj połączenie równorzędne VPC między Confluent Cloud a projektem GCP, aby można było uzyskać do niego dostęp w sieci prywatnej.
- Skonfiguruj tunel VPN między projektem AWS a projektem GCP, aby zasoby w obu usługach hiperskalowych mogły się łączyć.
- Uzyskaj dostęp do Confluent Kafka z AWS i skonfiguruj potok przesyłania strumieniowego z AWS do GCP, korzystając z Confluent Kafka Cloud.
Czego się nauczysz
- Jak skonfigurować połączenie równorzędne sieci VPC między Confluent Cloud Kafka a projektem GCP.
- Jak skonfigurować tunel VPN między projektami AWS i GCP.
- Jak uzyskać dostęp do Confluent Cloud hostowanej w GCP z projektu AWS.
Te ćwiczenia z programowania skupiają się na tworzeniu strumieniowego przesyłania danych w wielu chmurach. Nieistotne koncepcje i bloki kodu zostały pominięte. Można je po prostu skopiować i wkleić.
Czego potrzebujesz
- Dostęp do projektu AWS.
- Dostęp do projektu GCP.
- Doświadczenie w korzystaniu z GCP i AWS Cloud.
- Subskrypcja Confluent Kafka z GCP Marketplace.
2. Przygotowania
Konfigurowanie połączenia VPN między AWS a GCP
- Ta wersja demonstracyjna korzysta z domyślnej sieci VPC (asia-southeast1) w GCP i ng-vpc-103-mum (ap-south1) w AWS.
- W AWS utwórz bramę klienta i wirtualną bramę prywatną (VPG). Dołącz VPG do sieci AWS VPC.
- Utwórz połączenie VPN typu site-to-site w AWS.
- Pobierz plik konfiguracji tunelu utworzonego w AWS. Wybierz
- Dostawca : ogólny
- Platforma : ogólna
- Oprogramowanie : niezależne od dostawcy
- Wersja IKE : Ikev2
- Utwórz bramę VPN i tunel VPN w GCP.
Podaj adres IP i klucz Ikev2 z pobranego pliku konfiguracji AWS dla obu tuneli.
- Po zakończeniu tunel powinien być aktywny w AWS i GCP.
Konfiguracja tunelu została zakończona.
- Wybierz blok CIDR, który będzie używany do konfigurowania Confluent Cloud. Dodaj to do tunelu VPN jako statyczną trasę w AWS.
Confluent Kafka w Google Cloud Marketplace
- Subskrybuj Confluent Kafka w GCP Marketplace.
- Zaloguj się w Confluent Cloud i utwórz klaster dedykowany.
- Podaj identyfikator projektu GCP wraz ze szczegółami sieci VPC na potrzeby połączenia równorzędnego.
- Zakończ połączenie równorzędne VPC po stronie GCP, podając szczegóły sieci klastra Confluent Cloud.
- Klaster Confluent Cloud jest teraz aktywny i sparowany z GCP.
- Przetestuj połączenie z klastrem Confluent z GCP.
- Udostępnij instancję GCE i zainstaluj Pythona 3.
- Generowanie klucza klienta Pythona w Confluent Cloud
- Uruchom skrypt testowy „producer.py” z instancji GCP:
- Teraz pobierz przykładowy kod na instancję AWS i wykonaj skrypt „producer.py”, aby przetestować połączenie hybrydowe z Confluent Cloud z GCP.
3. Gratulacje
Gratulacje, udało Ci się utworzyć wielochmurową, międzyregionalną platformę strumieniową Confluent Kafka między AWS a GCP.
Przydatne ćwiczenia z programowania**?**
Wypróbuj te ćwiczenia z programowania: